上下文语言模型：让模型原生管理自身上下文
🧭 Agent 上下文管理 · 原生可编辑上下文 ★ 深度解读
University of Washington · Meta Superintelligence Labs · MIT · Trillium Labs
提出 Context Language Models，将上下文作为可编辑文件交给模型原生管理，在长 horizon Agent 任务上同时提升效果并降低推理成本
📌 工作参考价值（4 点）
- 长会话电商导购/客服 Agent：让模型自主编辑上下文文件（用户画像、候选商品、搜索过程），用 Bash/Python 原地更新、精简、备份，替代固定 summary 或人工工具，降低 token 成本并提升效果。
- 多 Agent 工作流（并行选品、多路召回协调）：维护多个上下文文件/内部 tracker，orchestrator 以原地编辑管理状态，减少重复传递。
- 在线推理优化：用户多轮修改筛选条件/商品 id 时，用 Suffix Cache Reuse 复用未变 suffix 的 KV cache，降低重 prefill FLOPs，适合高并发推荐服务。
- 训练 RL 时用 success-gated efficiency advantage，仅对成功轨迹施加 FLOPs 优势，避免失败轨迹获得效率奖励；stepwise GRPO 处理非连续上下文编辑。
py-kvcache：vLLM 外部 KV 缓存的 NVMe 性能表征
🧭 LLM 推理 · KV cache 卸载优化
Vrije Universiteit Amsterdam · IBM Research Zurich
刻画外部 KV 缓存加载与重算的权衡，提出异步直接 I/O、有界 staging、调度感知预取，80k tokens 磁盘加载比 LMCache 快 2 倍
📌 工作参考价值（3 点）
- 在长上下文 LLM 服务（如 Agent 多步推理、长 prompt 推荐解释）中开启外部 KV cache 前，先用生产 trace 做 break-even 分析：H100 等强 GPU 上短前缀重算可能比磁盘加载更快，外部缓存应作为按场景开启的准入策略，而非全局默认。
- 缓存层设计要关注传输粒度与调度时序，而非只盯 NVMe 带宽：连续块传输 + 异步直接 I/O 绕过页缓存，并限制共享 staging buffer，避免挤占 GPU/CPU 内存；请求排队时就启动预读，让磁盘 I/O 与 prefill 计算重叠，可显著降低 TTFT。
- 对多轮对话和前缀链不规则场景，py-kvcache 的调度感知预加载有明确收益；若业务里 prompt 前缀复用度高（如推荐 agent 的固定 system prompt、RAG 检索后的公共上下文），可以在 CPU/NVMe 层缓存 KV，但需评估前缀长度分布和 GPU 算力后决定。
DoPR：可复用压缩文档前缀实现高效 LLM 重排序
🧭 LLM 重排序 · 文档前缀复用 ★ 深度解读
上海交通大学 LUMIA Lab · 字节跳动 · 上海交通大学
离线压缩文档为可复用前缀状态，在线仅编码 query 与打分 token，保留 97%+ 排序效果并提速最多 8 倍
📌 工作参考价值（4 点）
- 在电商搜索/推荐精排或广告 rerank 环节，将商品详情、广告创意、用户评价等长文档的 LLM 编码结果离线压缩成 prefix KV cache，在线只算 query+score token，固定 8x 压缩比可保留 97%+ NDCG@10，适合文档重复召回的稳定商品库或内容库。
- 用 self-attention 列向注意力集中度作为 salience 信号选择 top-K 文档 token，无需额外参数，可作为 item 文本压缩或生成式推荐中 item 侧表示选择的轻量方案；部署时 inference prefix 长度可与训练长度解耦，动态权衡成本与效果。
- 训练时用 structured attention mask 强制 query 只能通过选中的 item 表示获取信息，并先做 200 步无压缩 warmup 再激活瓶颈，能稳定收敛；这一 trick 可迁移到需要构造 query-dependent 瓶颈的检索/推荐模型训练。
- 注意该方法收益依赖文档重复使用率：对新闻、实时竞价创意等快速更新 corpus 摊销有限，更适合静态商品库、内容库的离线索引+在线加速。